حل برخط بازی های دیفرانسیلی افق نامحدود برای سیستم های دینامیک-نامعین زمان-پیوسته با استفاده از الگوریتم های یادگیری تقویتی

بازیهای دیفرانسیلی امروزه کاربردهای گسترده در زمینه های مختلف از جمله سیستمهای مخابرات بیسیم و شبکه، سیستمهای اقتصادی و راهبرد های دفاعی یافته اند. حل بازیهای دیفرانسیلی تکیه بر حل معادلات همیلتون-جاکوبی دارد. حل این معادلات در حالت غیرخطی بسیار مشکل بوده و ممکن است حتی در موارد ساده فاقد حل تحلیلی سرتاسری باشند. اکثر روش¬های ارائه شده برای حل این معادلات، روشهای تقریبی برون خطی هستند که در آنها دینامیک سیستم کاملا معین میباشد. در این رساله، سه الگوریتم برخط برای یافتن حل تقریبی بازیهای دیفرانسیلی دونفره مجموع-صفر و چندنفره مجموع-غیرصفر ارائه گردیده است: الگوریتم یادگیری تقویتی همزمان، الگوریتم برنامه ریزی پویای تطبیقی و الگوریتم یادگیری تقویتی انتگرال. مزیت عمده استفاده از یادگیری تقویتی این است که زمینه برای حضور کنترل تطبیقی فراهم میشود و بنابراین میتوان با ترکیب یادگیری تقویتی و شبکه های عصبی، الگوریتم های کنترل بهینه تطبیقی برای سیستم های با دینامیک نامعین ارائه کرد. در روشهای کنترل بهینه تطبیقی، شرط تحریک پایا چالشی است که این تکنیکها را در دست یافتن به تخمین مناسب پارامترهای سیستم محدود نموده است. تمامی روشهای پیشین کنترل بهینه تطبیقی برای حل بازیهای دیفرانسیلی مجموع-صفر و مجموع-غیرصفر نیاز به بررسی شرط تحریک پایا برای تضمین همگرایی الگوریتم به نقطه تعادل بهینه دارند. در این رساله، با استفاده از رویکرد جدید یادگیری همزمان، به شرط محدود کننده تحریک پایا غلبه گردیده و بجای آن شرایط کافی و آسان برای تضمین همگرائی پارامترها بدست آمده است. پایداری سیستم با استفاده از تکنیک لیاپانف تضمین شده و علاوه بر آن، همگرائی به نقطه تعادل نش بازی در همه حالتهای مذکور نشان داده شده است.